Создатель ChatGPT: История Сэма Альтмана - Кич Хэйги

Книга начинается с притчи о стайке воробьев, решивших, что неплохо бы завести сову – пусть помогает вить гнезда и охраняет их от кошек. Они начинают обсуждать, где взять совенка, которого можно было бы вырастить для этих целей. Один из воробьев осторожно интересуется: не лучше ли сначала, прежде чем тащить совиные яйца в свои гнезда, разобраться, как приручить сову? Но лидеры стаи отмахиваются – раздобыть совенка и так непросто, с приручением можно разобраться и позже. Скептик и небольшая группа его сторонников остаются в стороне, понимая, что научиться приручать сову без практики будет еще сложнее, чем они предполагали. История заканчивается их тревожным ожиданием: что, если собратья-воробьи вернутся с яйцом раньше, чем они найдут решение?

В своей книге Бостром утверждает, что люди, вероятно, уже в XXI веке создадут «машинный сверхразум», и потому критически важно заранее позаботиться о том, чтобы он не уничтожил человечество. Иллюстрируя потенциальную опасность ИИ, он развивает метафору Юдковского о канцелярских скрепках. Сверхразумный ИИ, запрограммированный на производство скрепок, может неостановимо продолжать свою работу, пока вся материя во Вселенной – включая тела всех живых существ – не превратится в скрепки. «Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество, – пишет Бостром. – И независимо от того, победим мы или проиграем, – не исключено, что этот вызов станет для нас последним»[213].

Бостром и Юдковский вышли из одной интеллектуальной среды. Бостром вырос в Швеции, он обладал незаурядным интеллектом и стремился побыстрее закончить традиционное образование. К 15 годам, в конце 1980-х, у него уже сформировалось, по его словам, «общее понимание: все, что может изменить сам механизм изобретений и открытий – будь то ИИ или улучшение биологических возможностей человека, – будет иметь колоссальное значение». Эти мысли привели его к изучению нейронных сетей, а затем – к работе над диссертацией по философии науки. Однако только с появлением интернета в середине 1990-х он нашел единомышленников, «интересующихся перспективными технологиями вроде ИИ и нанотехнологий. Эта область была действительно крайне нишевой. Академические круги ею совершенно не интересовались». Бостром обнаружил рассылку экстропианцев и стал ее активным участником вместе с Юдковским. «Именно там велись самые продвинутые дискуссии на эти темы», – вспоминал он.

Глава 11

«Манхэттенский проект для ИИ»

Встреча, проходившая в отеле Beachside Caribe Hilton в Сан-Хуане, столице Пуэрто-Рико, в январе 2015 года казалась профессору информатики из Корнеллского университета Барту Селману рядовой научной конференцией, пока он не заметил группу охранников, дежуривших у входа в зал. Когда эти же крепкие ребята последовали за участниками на обед, стало очевидно – конференция не такая уж обычная. Среди ученых, сотрудников Google и подозрительно многочисленной группы молодых докторов математических наук из Беркли явно присутствовало и несколько миллиардеров. Одним из них, проявлявшим особый энтузиазм, был Илон Маск.

Маск появился с покрасневшими от жары щеками, в черной футболке с изображением мультяшного астронавта, его волосы были слегка растрепаны – казалось, он провел ночь в офисе Tesla, уснув прямо за рабочим столом. В то время Маск возглавлял и Tesla, и SpaceX и при этом активно участвовал во всех мероприятиях первой в мире конференции по безопасности искусственного интеллекта. Он вышел на сцену вместе с Ником Бостромом – лысеющим интеллектуалом в очках, поддерживая его предостережения об опасности создания умных машин без надежных гарантий, что те будут заботиться о своих создателях. За обедом Маск обходил столы, спрашивая каждого исследователя ИИ, как человечество могло бы контролировать риски, связанные со сверхразумом.

«Для Илона это и в самом деле был вопрос выживания человечества, – вспоминал Селман. – Хотя тогда казалось почти абсурдным всерьез опасаться, что машины захватят власть».

Исследователи ИИ, подобные Селману, после череды надежд и разочарований привыкли не распространяться о потенциале искусственного интеллекта. Чрезмерный энтузиазм предыдущих поколений ученых оттеснил область их интересов на задворки научного мира. Однако недавние успехи в компьютерном зрении, машинном переводе и беспилотных автомобилях выглядели впечатляюще. Книга Бострома «Искусственный интеллект. Этапы. Угрозы. Стратегии» породила движение, которое вышло далеко за пределы тихой академической заводи, где годами ютились исследователи ИИ.

Конференцию организовал Институт будущего жизни, основанный менее года назад физиком из MIT Максом Тегмарком при поддержке Яана Таллинна, сооснователя Skype и приверженца эффективного альтруизма. Таллинн обещал выделять институту по 100 000 долларов ежегодно. После того как продажа Skype компании eBay в 2005 году сделала его миллиардером, Таллинн искал новое применение своим силам и наткнулся на работы Юдковского о рисках ИИ. Поначалу он был настроен скептически, но после четырехчасовой беседы с Юдковским в кафе Panera Bread возле Международного аэропорта Сан-Франциско изменил свое мнение. Вскоре Таллинн уже был одним из главных глашатаев опасности, которую искусственный интеллект несет самому существованию человечества, основал Центр изучения экзистенциальных рисков и стал одним из первых инвесторов DeepMind[214]. Институт будущего жизни, который быстро превратился скорее в политическую, чем в академическую силу, назвал безопасность ИИ своим главным приоритетом. «Наша цель проста: чтобы у жизни было будущее и чтобы оно было, насколько это возможно, прекрасно!» – написал Тегмарк в своей книге «Жизнь 3.0: Быть человеком в эпоху искусственного интеллекта»[215]. После долгих обсуждений различных угроз человечеству, отмечал он, участники «пришли к согласию в том, что, хотя необходимо уделять некоторое внимание биотехнологии, ядерному оружию и климатическим изменениям, наша главная цель – сделать вопрос ИИ-безопасности центральным в данной исследовательской области»[216].

До этого момента большинство громких голосов, призывавших к безопасности ИИ, не принадлежали исследователям, непосредственно работающим над искусственным интеллектом. Движением руководили такие личности, как Бостром и Юдковский, которые в тот день появились на сцене вместе с Маском и Селманом, а также Вернором Винджем и Шейном Леггом из DeepMind – своего рода возрождение прежних саммитов сингулярности. Целью конференции в Пуэрто-Рико было собрать вместе философов и практиков, чтобы попытаться выработать общую позицию, пока экономические интересы последних не сделали это невозможным. «Это была важная конференция, потому что она помогла предотвратить один из возможных сценариев провала, который бы нас ждал, если бы борцы с ИИ и исследователи, создающие ИИ, остались двумя отдельными группами. Несложно представить альтернативную историю, где они образовали разные сообщества, которые не общаются между собой, а только поливают друг друга грязью», – отметил Бостром.

Вместо этого большинство участников – и в общей сложности более 8000 человек, включая Маска, Стивена Хокинга и многих исследователей ИИ, – подписали открытое письмо. В нем, по словам Тегмарка, призывали к тому, чтобы целью исследований был «не бесцельный, а полезный интеллект». Письмо содержало призыв расширить исследования, направленные на то, чтобы ИИ оставался «полезным», и подчеркивало: «Наши системы ИИ должны делать то, что